Đồ Thiếp Mục Nhi là con trai thứ của Nguyên Vũ Tông, mẹ là phi tần Đường Ngột thị người Đảng Hạng. Ông là em ruột của Nguyên Minh Tông Hòa Thế Lạt.

Năm 1311, Nguyên Vũ Tông băng hà. Trước đó Vũ Tông chỉ định truyền ngôi cho em trai là Ái Dục Lê Bạt Lực Bát Đạt, tức Nguyên Nhân Tông, yêu cầu Nhân Tông sau khi mất phải truyền ngôi cho hậu duệ của mình. Tuy vậy, Đồ Thiếp Mục Ni và Hòa Thế Lạt nhanh chóng bị đuổi khỏi kinh bởi chính bà nội của họ, Thái hậu Đáp Kỷ (Dagi) và quyền thần thuộc Hoằng Cát Lạt thị, lý do mẹ họ không phải tộc nhân Hoằng Cát Lạt thị, Thái hậu không muốn quyền lực ngoại thích rơi vào tay người ngoài[1].

Nhân Tông sau đó cũng hủy bỏ giao ước ngày xưa với anh mình, truyền ngôi cho con ruột là Thạc Đức Bát Thích, tức Nguyên Anh Tông. Anh Tông lên ngôi năm 1320, Đồ Thiếp Mộc Nhi bị đày đi Hải Nam. Mãi đến khi Anh Tông bị ám sát và Nguyên Thái Định Đế nắm quyền cai trị, tình hình của ông mới được cải thiện. Ông được phong làm Hoài vương (懷王), chuyển đến sống ở Jiankang (ngày nay là Nam Kinh) và sau đó là Giang Linh[2]. Thời gian này, ông lĩnh hội một loạt các thành tựu học thuật và nghệ thuật, thường xuyên tìm hiểu các tác phẩm văn học nổi tiếng của Trung Quốc và các danh sĩ[3]. Vì đều là con của Vũ Tông và thường xuyên bị đày đọa, Đồ Thiếp Mộc Nhi và Hòa Thế Lạt được hoàng thất Bột Nhi Chỉ Cân ra sức đồng cảm, trong đó có những trung thần của cha họ, nên 2 anh em đã sống sót qua nhiều cuộc thanh trừng chính trị.